/**
*
*/
package org.wltea.analyzer.test;
import java.io.IOException;
import java.io.StringReader;
import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.List;
import org.apache.lucene.search.Query;
import org.wltea.analyzer.IKSegmentation;
import org.wltea.analyzer.Lexeme;
//import org.wltea.analyzer.help.CharacterHelper;
import org.wltea.analyzer.lucene.IKQueryParser;
import junit.framework.TestCase;
/**
* @author Administrator
*
*/
public class SegmentorTester extends TestCase{
public void testLetter(){
String t = "S43-LC10 AT&T and I.B.M Corp mail : 1.12.34.33 -1-2003%123*111-11+12 2009A17B10 10:10:23wo!r+d.1{}0.16-8AAAA_B$BB@0.1.12.34.33.10.18ok?hello001.txt";
// Token ruToken = new Token();
// StandardTokenizer st = new StandardTokenizer(new StringReader(t));
// try {
// while((ruToken = st.next(ruToken)) != null){
// System.out.println(ruToken);
// }
// } catch (IOException e) {
// // TODO Auto-generated catch block
// e.printStackTrace();
// }
System.out.println(t);
IKSegmentation ikSeg = new IKSegmentation(new StringReader(t) ,true);
try {
Lexeme l = null;
while( (l = ikSeg.next()) != null){
System.out.println(l);
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
public void testNumberCount(){
List<String> testStr = new ArrayList<String>();
testStr.add("12.第");
testStr.add("一九九五年12月31日,");
testStr.add("1/++ ￥+400 ");
testStr.add("-2e-12 xxxx1E++300/++");
testStr.add("1500名常用的数量和人名的匹配 超过22万个");
testStr.add("据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，"
+ "日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡，"
+ "20000余人受伤，近20万人无家可归。");
testStr.add("古田县城关六一四路四百零五号");
testStr.add("欢迎使用阿江统计2.01版");
testStr.add("51千克五十一千克五万一千克两千克拉 五十一");
testStr.add("十一点半下班十一点下班");
testStr.add("福州第一中学福州一中福州第三十六中赐进士及第");
for(String t : testStr){
System.out.println(t);
IKSegmentation ikSeg = new IKSegmentation(new StringReader(t) , true);
try {
Lexeme l = null;
while( (l = ikSeg.next()) != null){
System.out.println(l);
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
System.out.println("***************");
}
}
public void testChinese(){
List<String> testStr = new ArrayList<String>();
// testStr.add("福州大学周边的必胜客");
// testStr.add("中华人民共和国香港特别行政区");
testStr.add("据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，"
+ "日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡，"
+ "20000余人受伤，近20万人无家可归。");
//
// testStr.add("林良益在林通家玩");
// testStr.add("福建省邮政储蓄局华林储蓄所");
// testStr.add("一九九五年12月31日,我在夜色下舞蹈 细长的鞋跟踩着星星的碎片 旋转的黑色裙摆覆盖来时的眼泪 亲爱的恋人 献给你我最华丽的落幕");
// testStr.add("直接从 Gmail 内部与您的朋友们聊天，再也无需单独加载程序或查找新地址。只需点击一下鼠标，即可与通过电子邮件来往的人以及 Google Talk 网络中的人聊天。现在您甚至可以保存和搜索 Gmail 帐户中的聊天记录。聊天还是不错的。");
// testStr.add("江南水都II期,花好月圆3期针对分词器所需的字符切割/过滤算法进行可行性测试");
//
// testStr.add("1500名常用的数量和人名的匹配 超过22万个词的词库整理 实现jinshan正向最大匹配算法 支持分词粒度控制 ");
// testStr.add("欢迎使用阿江统计2.01版！ 阿江(Ajiang) www.ajiang.net");
// testStr.add("姚明是一个伟大的篮球运动员.");
// testStr.add("陈文平是开睿动力通讯科技有限公司董事长");
// testStr.add("古田县城关六一四路四百零五号");
// testStr.add("当结合成分子时");
////
// testStr.add("天福大酒店,陈文平是提拉米苏董事长,达利蛋黄派，家家都喜爱， 福州达利园食品有限公司.");
// testStr.add("才科夫斯基 伊万诺夫 冶山路 新金党派 树林良益 景城阁老酒楼 目的丁可煋");
//
// testStr.add("，联合国安理会16日(当地时间)对于涉及核武及导弹项目的5名朝鲜人士，确定了禁止旅行和冻结海外资产等制裁，并决定同时制裁5个相关企业和2种相关材料。由此，对朝制裁首次包括朝鲜政府人士。另外，继4月冻结朝鲜3家企业的海外资产之后，再加上上述5家企业，被安理会制裁的朝鲜企业合计共为8 家。"
// +"在此之前的制裁名单里包括朝鲜外交官等共15人，但安理会最终只确定了5人。对此，联合国的某外交官表示:“对个人的制裁具有象征性的意义。”“制裁名单被缩减为5人，可以理解为与会国之间经过协调所达成的结果。"
// +"安理会制裁的决定还包括5个企业，这些企业被怀疑与弹道导弹、核武器和其他大规模杀伤性武器项目有关。"
// +"与此同时，可用于制作导弹的EDM碳素化合物和芳纶(aramid)纤维，也被列为被制裁对象。");
//
// testStr.add("我真不知道台湾的媒体人是哪只眼睛看蔡英文是「小龙女」。蔡英文怎么会是小龙女。如果说原著的文字无法形象化小龙女的形象，那么我们就从影视中来探究探究。" +
// "许多影视剧中都有小龙女的扮演，台湾人比较熟悉早期陈玉莲，潘迎紫，新加坡有范文芳，" +
// "大陆的有刘亦菲，而其中最为经典的还属香港的李若彤，即便以最低标准的吴倩莲来说，" +
// "以上诸位蔡英文能比哪一个？千万不要亵渎了影迷们心目中的小龙女的光辉形象。");
//
// testStr.add("IK-Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了3个大版本。");
//
// testStr.add("永和服装饰品有限公司");
//
// testStr.add("作者博客：linliangyi2007.javaeye.com 电子邮件地址：linliangyi2005@gmail.com");
//
// testStr.add("中国人民银行");
// testStr.add("航班车行李票");
// testStr.add("打索埕");
// testStr.add("曙光天阔 I620r-G /A950r-F 夏普SH9020C");
// testStr.add("神话电视连续剧 20092008년을 마무리 할까 합니다 右のテキストエリアに訳文が にちほん");
//
// testStr.add("向浙江省长兴县安监局等多部门反应");
// testStr.add("浙江省长兴县城管在光天化日之下明抢东东");
testStr.add("广州市越秀区广州大道中131-133号信龙大厦");
for(String t : testStr){
System.out.println(t);
IKSegmentation ikSeg = new IKSegmentation(new StringReader(t) , false);
try {
Lexeme l = null;
while( (l = ikSeg.next()) != null){
System.out.println(l);
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
System.out.println("***************");
}
// System.out.println(CharacterHelper.isCJKCharacter('년'));
Character.UnicodeBlock ub = Character.UnicodeBlock.of('년');
System.out.println(ub.toString());
// char[] jpStr = "".toCharArray();
// for(char c : jpStr){
// Character.UnicodeBlock jub = Character.UnicodeBlock.of(c);
// System.out.println(jub.toString());
// }
}
public static void main(String[] args){
String testString = "古籍网资料目录18详情请点击具体资料名称，或返回首页编号名称复制费用155877渔家-宋寒衣-中国诗歌社40元155878海盗船-孙毓棠40元155887海燕的歌-" +
"王亚平-联合出版社40元155888埃及人-王独清-世纪书局40元155889桃花底命运-王樵生-九一八书店40元155892菱塘崖-吴汶-中国诗社40元155894恋歌，中国近代恋歌选-丁丁" +
"-曹雪松-泰东图书局40元155895钢铁的手-新华书店40元155896民主诗歌-苏君夫-辽北书店48元155899露丝-谢康-北新书局40元155900翡冷翠的一夜-徐志摩-新月书店40元" +
"155901受难者的短曲-杨骚-开明书店40元155902春的伤感-杨骚-开明书店40元155903夜行集-一凌40元155904种树集-衣萍-北新书局40元155905世纪的脸-" +
"于赓虞-北新书局43元155906维梓诗选-于维梓-泰东图书局69元155907湖风-虞琰-现代书局40元155909动荡-藻雪-泰东图书局40元155910活体诗-张凤-群众图书公司94元155911西爪集" +
"-张亚珠-中国影声社张坤贤40元155912张凤，活体诗-张凤-群众图书公司94元155914马来情歌集-钟敬文-远东图书公司40元155915在星夜底下-邹绍文-新水文学社40元155917愿春天早点来" +
"-艾青-诗艺社40元155918旷野-艾青-生活书店40元155922血的故事-陈汀-新新新闻40元155923憧憬集-程铮49元155925第二次世界大战纪事诗-方克刚-公益印刷公司40元155926冯玉祥先生抗" +
"战诗歌集-华爱国-户图书社78元155927草原牧歌-戈茅-远方书店40元155928雷-光未然-北门出版社40元155930战士的歌-克锋-诗歌出版社40元155931睫-郎雪羽-飞花书室40元155932塞" +
"上吟-林咏泉-文艺出版社40元155933出发-路易士-太平书局40元155934疾风-罗家伦40元155937晨夜诗度-彭丽天-闻一多40元155938后方小唱-任钧-上海杂志公司40元155940行知诗歌选" +
"-陶行知-光华书店40元155943南中国的歌-童晴岚-诗歌出版社40元155945诗文学-魏荒努-诗文学社40元155946寒伧的歌-伍禾-文献出版社40元155948诗歌时代-许幸之-海石书店60" +
"元155950向祖国-臧克家-三户图书社42元155953古树的花朵-臧克家-东方书社40元155954昆岑关-张泽厚-新三书店40元155955吹散的火星-郑思-耕耘出版社40元155956不时髦的歌-" +
"祝实明-晨钟书局40元155959劳动英雄刘英源-侯唯动-光华书店40元155962午夜的诗祭-李岳南-知更出版社40元155963红色绿色的歌-炼虹-大地书局40元155965海内奇谈-马凡陀-东北" +
"书店40元155966季节草-穆静-新生书局40元155969新世纪的呼声-孙滨47元155972大时代之梦-石兆棠-蕴山出版社40元155973江南解放史歌-田曲-教育书店40元155974饮马河之歌-夏葵" +
"-大众印刷厂40元155975毛泽东同志-谢挺宇-大众书店40元155977走出了梦之谷-焰滔-海流出版社40元155979马凡陀的山歌续集-马凡陀-生活书店42元155981苦尽甜来-刘艺亭-东北书店40" +
"元155982升平署曲本目录-国立北平图书馆中文编目组-中华华店40元155983百代剧词集-日本蓄音器商会大连支店-三光社印刷所93元155985曲选-顾名-大光书局118元155986元明曲选" +
"-胡懒残-会文堂书局40元155988倩女离魂-孙席珍-亚细亚书局40元155989新生代的歌颂-路倜-青年出版社58元155990金元曲-卢前40元155993西厢-董解元-全民书局152元155995西厢记" +
"-王君豪-时新书局52元156009燕山外史-大中书局-大中书局83元156010海天啸传奇-小说林总编译所-小说林总发行所40元156011牡丹亭-汤显祖-大达图书供应社63元156013燕子笺-阮大钺" +
"-新文化书社99元156014长生殿-洪升-大达图书供应社50元156015病玉缘传奇68元156016当炉艳-薛恨生-新文化书社40元156017胭脂记-张仁寿-张仁寿律师事务所40元156019新编戏学汇考" +
"-凌善清-许志豪-大东书局424元156030戏典-南腔北调人-中央书店744元156046粤东名优选本-丘鹤琴-大新书局40元156047歌曲大集会-丘鹤琴-大新书局40元156048大戏考索引-邵子潘-" +
"大兴无线电唱机行41元156050平剧戏考-叶少群-戏剧出版社164元156054戏考013册-中华图书馆编辑部-中华图书馆162元156055戏考017册-中华图书馆编辑部-中华图书馆156元156056戏考" +
"025册-中华图书馆编辑部-中华图书馆152元156057戏考029册-中体裁图书馆编辑部-中华图书馆150元156058戏考033册-中华图书馆编辑部-中华图书馆156元156059戏考037册-中华图书" +
"馆编辑部-中华图书馆159元156060黄巢-陈其通-大众书店40元156061闯王进京-马少波-大众书店40元156063廉颇蔺相如-陈德明-东北书店40元156064得意缘-林如松-晓星书店40元156065" +
"全部连环套-卢继影-好运道书局40元156066戏迷传-吕月樵-共和图书馆40元156067麒麟童-卢继影-好运道书局40元156068木兰从军-缀玉轩-香港同乐会40元156072乌龙院-卢继影-" +
"好运道书局40元156074胭脂宝褶-马连良-罗汉出版社40元156075夜审潘洪-卢继影-罗汉出版社40元156076离燕哀-尹仲锡-新民印书馆51元156081蹦蹦戏考-评剧研究社-评剧研究社40" +
"元156083逼上梁山-延安平剧研究会-新华书店40元156085千古恨-周文-王修-东北书店40元156089绍兴文戏全部玉堂春-越伶书社40元156090川剧选粹40元156091蜀剧苑-冉炯叔-蜀剧" +
"苑出版社40元156092广东大戏考-冯清平-播音界联谊社96元156093抗战潮剧集-赖德风-正言印刷所40元156094盼八路-力鸣-孙康-东北书店40元156096担水前后-东北书店-东北书店40元" +
"156097挖穷根-关守耀-胡玉亭-东北书店40元156098赵河山转变-韩北生-杜希唐-马毅-杨栋林-王礼易-新华书店40元156100春耕互助-力鸣-东北书店40元156101信不得-刘相如-东北书店" +
"40元156103永安屯翻身-鲁艺文工团-东北书店48元156104买不动-鲁亚农-东北书店40元156105谁沾光-侣朋-东北书店40元156106蒸干粮-太行行署教育处文联-太行群众书店40元156107" +
"夜探阎王殿-王越-东北书店40元156109归队-鲁虹-萧丁-东北书店40元156110群众创作选集-江帆-东北书店55元156111戏剧与歌曲-沈阳市文联筹委会-沈阳市文联筹委会40元156115洪波曲-" +
"安娥-任光-育文出版社40元156116鞋-白辛-东北书店40元156120人民城市-陈戈-东北书店40元156121一个裁缝之死-地子-马瑜-东北书店40元156122好班长-丁洪·唐克-东北书店40元156123" +
"三担水-丁洪-东北书店40元156129眼睛亮了-何迟-东北书店40元156130白毛女-贺敬之-丁毅-东北书店49元156131白毛女-延安鲁艺-吉林书店48元156132白毛女-延安鲁艺工作团-新华书" +
"店50元156133复仇-胡零-新华书店66元156134火-胡零-东北书店41元156135周喜生作风转变-皇甫束玉-新华书店40元156136神兵-买霁-东北书店40元156138废铁炼成钢-蓝澄-东北书" +
"店40元156154反民逼官-钟纪明-黄俊耀-王志新-李微含-东北书店40元156155为谁打天下-东北军政大学宣传队-东北书店40元156157现代名剧精华-魏如晦-潮锋出版社65元156160救亡戏剧" +
"-陈文杰-2005-10-战时读物编译社40元156161裂痕-独幕剧创作月刊社-剧艺出版社44元156162抗战戏曲集-郭莽西-正中书局52元156163墙头草-晋察冀边区戏剧协会-东北书店40元156175" +
"解放区农村剧团创作选集-方徨-东北书店40元156179国耻短剧-中国书局40元156180话剧两种-雅焜-东吴大学40元156183独幕剧新集-朱雷-光明书局63元156186洪深剧本创作集-洪深-" +
"东南书局49元156190战斗-章泯-生活书店54元156193洪宣娇-魏如晦-民国书店40元156196大渡河-陈白尘-光艺印刷厂56元156197苏武-顾一樵40元156198白娘娘-顾一樵40元156202" +
"三个叛逆的女性-郭沫若-光华书局68元156205九宫山，一个农民战争失败的历史的悲剧-擎戢词人-新华书店40元156206正气-罗永培40元156207忠王李秀成-欧阳予倩-文化供应社62" +
"元156208复国-孙家琇42元156210红心草-王梦鸥-独立出版社40元156211傀儡皇帝-王维克-世界书局40元156213赛金花-夏衍-生活书店40元156214赛金花-熊佛西-实报社40元156215" +
"天国春秋-阳翰笙-群益出版社60元156218秦良玉-杨村彬-中央青年剧社40元156221大家办合作-常功-胡正-孙千-东北书店40元156225亡蜀遗恨-周贻白-潮锋出版社40元156226木兰从军-" +
"左斡臣-启智书局40元156228民族正气-赵循伯40元156232铁砂-胡绍轩-独立出版社42元156233野马-寇嘉弼-三人出版社42元156235一个战士-沙丹-东北书店40元156241断鸿零雁-黄嘉谟-" +
"第一线书店40元156242红玫瑰-李鸿梁-梁溪图书馆40元156244不忠实的爱-向培良-启明书局50元156326闻鸡起舞-王世经-笔花出版社40元156327乱世佳人-王光鼐-民族出版社60元156328" +
"天花乱坠-王勉之-国民图书出版社48元156330为自由和平而战-王为一-生活书店40元156331凤凰城-吴祖光-生活书店54元156332烟苇港-洗群-六艺书店40元156336草木皆兵-夏衍-宋之的-于" +
"伶-美学出版社40元156337都会的一角-夏衍-激流书店40元156423扑灭倭寇-张择厚-跋涉书店40元156424全家忙-边区群众剧社-新华书店40元156425街头剧创作集-光未然-扬子江出版社4" +
"0元156250巨弹-傅克兴-长风书店40元156252海牙剖腹记炸皇宫40元156255五奎桥-洪深-复兴书局40元156256复活的国魂-侯曜40元156260死的胜利-刘大杰-启智书局40元156261白蔷薇-" +
"刘大杰-东南书店40元156262阿Q正传-鲁迅-光明书局40元156265回春之曲-田汉-普通书店56元156266革命的前夜-王志之-大众书局46元156267亚细亚的怒潮-王绍清-金汤书店42元156269" +
"他的天使-杨骚50元156270迷雏-杨骚-北新书局40元156272两个角色演底戏-袁牧之40元156273信号-张白衣-中外书店64元156275不夜城-阿英-潮锋出版社40元156277费娜小姐-巴人-" +
"海燕书店41元156287黄鹤楼-陈铨40元156289岁寒图-陈白麈-群益出版社53元156292同胞姐妹-顾仲彝-世界书局40元156294把眼光放远点-胡丹沸-大众书店40元156297国家至上-老舍-" +
"新丰出版公司40元156299归去来兮-老舍-作家书屋42元156300顺民-王震之-崔嵬-生活书店40元156304云彩霞-李健吾-寰星图书杂志社40元156305梅红时节-李丽水-滨湖出版社40元156306" +
"遥望-李庆华-天地出版社40元156307乐园进行曲-凌鹤-大东书局53元156309在敌人后方-罗丹-东北书店40元156313旧关之战-宋之的-生活书店40元156315敌忾同仇-苏凡-中外出版社40元156317" +
"芦沟桥-绍轩52元156322中国万岁-唐纳-大公报40元156323芦沟桥-田汉-线香街四十号40元156338离离草-夏衍-新华书店40元156342密支那风云-徐昌霖-大陆图书杂志出版公司40元156343" +
"重庆屋檐下-徐昌霖-大陆图书杂志出版公司55元156349同志你走错了路-姚仲明-陈波儿-光华书店46元156351火中莲-姚苏凤-万象周刊社40元156352恋爱问题-易乔-剧艺出版社40元156354女儿国" +
"-于伶-国民书店71元156355长夜行-于伶-远方书店45元156356放下你的鞭子-张国威-战时读物编译社40元156359家破人亡-章泯-新演剧社40元156362自由魂-赵慧深-上海杂志公司40元156363" +
"此恨绵绵-赵清阁-新中华文艺社40元156364广源轮-郑倚虹-读书出版社40元156368火烛小心-包蕾-华华书店40元156371窑工-丁玲-陈明-逯斐-大众书店40元156372部队剧选-东北民主联军总政治部" +
"-东北民主联军总政治部58元156375鸡鸣早看天-洪深-华中图书公司46元156376指挥员在哪里-黄钢-新华书店40元156377炼狱-晋驼-光华书店40元156379刘桂兰捉奸-蓝澄-新华书店40元156380阵地" +
"-黎阳-东北书店40元156383血债-李之华-侣明-大众书店40元156384反翻把斗争-李之华-东北书店40元156387牢笼计-侣朋-东北书店40元156388柜中人-马瑜-地子-西虹-东北书店40元156389" +
"谁劳动是谁的-沙丹-宁玉珍-李牧-东北书店40元156390春常在-沈蔚德53元156391翻天覆地的人-闻捷-新华书店40元156392河山春晓-吴铁翼-文信书局42元156393天下无敌-军大宣传队集体创作-" +
"新华书店40元156399春到人间-张英-戏剧文学出版社40元156403炮弹是怎样造成的-陈其通-新华书店40元156405云雀-路翎-希望社40元156406阿Q剧本-陈梦韶-华通书局40元156408寄生虫-洪深-" +
"上海杂志公司40元156409飘- 美 M.Mi hell-柯灵-美学出版社63元156410英雄儿女-莱逊-李束丝-群益出版社40元156414水落石出-梅特林-王石城40元156416怒吼吧！中国-周雨人-剧艺社40元" +
"156417人兽之间-包起权-独立出版社40元156418蠢-徐渠-文国社40元156419还我故乡-史东山-明华书店40元156428恨相逢-曹乃文-北京文化服务社40元156429唐人传奇选-文艺小丛书社40元156433" +
"马振华哀史-马振华-群友社40元156434马振华哀史-张碧梧-华合出版社40元156436小青之分析-潘光旦-新月书店40元156437国民革命军北伐演义-陶凤子-民众书局330元156445中国暗杀案-陶啸秋-" +
"交通图书馆52元156446照妖镜-郁道庵-格言丛辑社65元156448中国侦探谭：男女三十六党秘史-陈啸秋-世界书局40元156449瀛海逸闻-长宁沈宗元-昌福公司50元156450兰娘哀史-吴双热君-" +
"民权出版部40元156459李师师全史-陈连痕-竞智图书馆40元156460赛金花遗事-杜君谋-大方印务局40元156462红蝴蝶-汪景星-广益书局65元156464盗陵案-胤子-平化合作社69元156469" +
"中国黑暮大观70元156473富人之女-包天笑-自由杂志社40元156474破涕录-李警众-民权出版部40元156475世说新语-刘义庆-大中书局40元157146鸭绿江上-蒋光赤-亚东图书馆60元157147" +
"钱如海-今睿40元157148海的渴慕者-俍工-民智书局64元157150海滨之人-庐隐66元157160爱之冲突-王衡-北新书局50元157163沉沦-郁达夫-泰东图书局52元157167烦恼的网-周全平-泰东图书局" +
"40元157171春天里的秋天-巴金-开明书店40元157173电-巴金-东方书店40元157177抹布-巴金-星云堂书店40元157180雪-巴金-平社出版社57元157181幽灵-巴金-艺光书店40元157182" +
"脱了牢狱的新囚-白鸥女士-湖风书局44元157186往事-冰心-开明书店40元157188漩涡-陈白尘-金屋书店49元157190归来-陈白尘40元157191黄昏-陈霭麓-世界书局42元157193如梦-学昭-" +
"真美善书店40元157195小雨点-陈衡哲-新月书店42元157201爱网-楚洪-北新书局66元157202前夜-戴万叶-亚东图书馆56元157203黄昏-丁文73元157205在黑暗中-丁玲-开明书店68元157210" +
"创痕-左斡臣-亚细亚书局40元157211火殉-左斡臣-文艺书局40元157213青春-张资平-现代书局40元157214存亡与血泪-赵吟秋-国民图书馆48元157215殊兵-周全平-现代书局43元157217" +
"文言对照短篇小说-庄衣言-民智书局40元157218圣处女的被污-樊心华-光华书局40元157219斋东新语-范烟桥-文新印刷公司40元157221怅惘-冯都良-光华书局40元157223少年先锋-高沐鸿-" +
"震东印书馆76元157225爱的病狂者-顾仲起-现代书局40元157226生活的血迹-顾仲起-现代书局54元157227笑与死-顾仲起-泰东图书局40元157228广雅的一日-广雅中学学生自治会“广雅的一日”" +
"编委会-红轮印务铸字局71元157229巫山奇遇-广野居士-中央书店40元157230郭沫若文选-郭沫若-时代出版社54元157231一只手-郭沫若-世纪书局40元157232织露丝姑娘-郭兰馨-卿云书局40元" +
"157234黑猫-郭沫若-现代书局40元157239水平线下-郭沫若-现代书局51元157242桂公塘-郭源新56元157243少女之春-郭箴一-郭箴一40元157245点缀-荷拂-南华图书局40元157248做父亲去-" +
"洪为法-金屋书店40元157249红花-芳草书店40元157250流亡-洪灵菲-现代书局64元157252四星期-胡也频-华通书局40元157256酒家-蹇先艾-新中国书局56元157259夜话-蒋光慈-生活社40元" +
"157261胜利的微笑-蒋光慈-光华书店48元157264异邦与故国-蒋光慈-现代书局40元157265最后的微笑-蒋光总48元157267野祭-蒋光慈-现代书局40元157271花柳病春-金满城-现代书局42元157272" +
"爱的谜-金石声-启智书局40元157274神秘之路-菊神女士-广益书局40元157275缺陷的生命-克农-启智书局57元157294中学时代-著@林疑今-曾献声-神州国光社40元157295瞬息京华-林语堂-" +
"正气书局41元157296明朝-林曼青-亚东图书馆49元157298旗声-林疑今-现代书局61元157371雪夜-汪敬熙-亚东图书馆40元157373结局-汪锡鹏-创造社49元157374幽愤-王谷君-启智书局40元" +
"157375现代作家-王坟-真美善书店42元157377何似-王警涛-新民图书馆兄弟公司40元157378爱之苦痛-王警涛-新民图书馆兄弟公司40元157379捉鬼篇-王任叔-上海印书馆53元157380刘大姑娘-" +
"王澍-联合书店40元157382惜分飞-王余杞-春潮书局44元157383王以仁的幻灭-王以仁-新文出版社140元158051山寺暮-严文井-现代散文新集:良友图书印刷公司45元158053周郎集-张怜新40元" +
"158139三万六千里旅途随笔-欧阳川-黎萍-萧群-周逸章-中国图书编译馆62元157299珊瑚集-凌善-大东书局65元157300花之寺-凌叔华-新月书店48元157303菩提珠-柳元非忌垢-北新书局40元" +
"157304烟盒-柳风-海音书局40元157305海滨故人-卢隐66元157306阿串姐-卢梦殊-真美善书店62元157308童年的悲哀-鲁彦-亚东图书馆46元157309杜鹃啼倦柳花飞-鲁觉吾-建国月刊社45元" +
"157310悲哀的心灵-鲁航泰-华普书局40元157311屋顶下-鲁彦51元157312天真底文艺-陆天-老德和昶87元157322莲蓉月-罗西-现代书局40元157323竹尺和铁锤-罗西-正午书局43元157324" +
"谣言的来源-吕伯攸-世界书局40元157325棘心-绿漪-北新书局86元157326虹-矛盾-开明书店70元157327林家铺子-茅盾-东北书店40元157333三人行-茅盾-开明书店40元157334没有果酱的面包" +
"-正中书局40元157337稚莹-凫公99元157339祝福-裴庆余-文化出版社40元157340茶杯里的风波-彭家煌-现代书局44元157341平淡的事-彭家煌-大东书局40元157343涛语-评梅女士-神州国光社" +
"60元157345盐场-铁台生-生光出版部40元157347玉兰花下-壬秋-盛京书店40元157348二月-柔石-春潮书局66元157351雅典娜-时间有恒-卿云图书公司40元157352没有祖国的孩子-舒群-生活书店" +
"60元157353凤仙姑娘-孙席珍-现代书局40元157354到大连去及其他-孙席珍-春潮书局40元157356三别-苕狂-世界书局40元157358夜阑-沉樱女士-光华书局40元157360春灯集-沈从文-开明书店" +
"46元157361旧梦-沈从文54元157364一个天才的通信-沈从文-光华书局40元157365旅桂蒙难记-释悦西-民生印刷所46元157367上元镫-施蛰存-新中国书局45元157370睡莲-滕固-芳草书店40元" +
"157386甜梦中的风波-韦月侣-南星书店40元157387生之细流-闻国新-北平文化学社46元157390十五年代-向培良-支那书店54元157391跋涉-三郎-悄吟-五画印刷社54元157395八月的乡村-萧军-" +
"作家书屋73元157396八月的乡村-萧军60元157399第三代-萧军46元157400幻醉及其他-徐志摩-谢冰季-中华书局57元157402古国的人们-徐霞村-水沫书店40元157404奔波-徐蔚南-北新书局" +
"40元157405不识面的情人-徐雉-新文化书社40元157407亚拉伯的骆驼-许跻青-新宇宙书店40元157408暮春-许杰-大光书局40元157409一坛酒-许钦文-北新书局58元157410泪吻-许跻青-北新书局" +
"44元157411安慰-严良才-光华书局40元157412哭与笑-杨荫深-现代书局40元157414狂澜-杨村人-泰东图书局43元157415失踪-杨村人-亚东图书馆40元157417白痴-叶鼎洛-真善美书店47元157418" +
"灵凤小说集-叶灵凤-现代书局119元157419双影-叶鼎洛-现代书局40元157422红的天使-叶灵凤-现代书局43元157424倪焕之-叶绍钧-开明书店111元157427城中-叶绍钧-开明书店41元157428" +
"友情-章衣萍-北新书局54元157429鸠绿媚-叶灵凤-光华书局40元157430文状元-殷作桢-大光书局64元157431晚霞-余慕陶-启智书局40元157433喜轿-俞长源-真美善书店46元157437急湍-隅棨" +
"100元157443都会交乡曲-张若谷-真美善书店40元157444泪-左干臣-泰东图书局48元157445傀儡-张静岚-朔风月刊社40元157446儒林新史—婆汉迷-张若谷-益华书局52元157447鬼影-张少峰-" +
"震东印书馆64元157449小彼得-张天翼-复兴书局56元157450脱了轨道的星球-张资平-现代书局52元157451明珠与黑炭-张贺平-光明书局84元157452柘榴花-张资平-光明书局41元157453植树节" +
"-张资平-新宇宙书店48元157454苦瓜集-赵小松-艺文书房62元157458失败者-郑震-启智书局44元157459椰子集-郑吐飞-真美善书店52元157460孤坟-志行-亚东图书馆63元157461定慧方丈-" +
"周乐山-南京书店40元157463炼狱-周楞伽-微波出版社158元157466动乱一年-朱雯-33书店78元157468紫洞艇-祝秀侠-亚东图书馆55元157472夫与妻-巴金-文化出版社60元157473火-巴金-" +
"开明书店225元157476死去的太阳-巴金-开明书店40元157478今-巴林-中国图书杂志公司40元157479奔赴祖国-白尔-独立出版社51元157481风砂之恋-碧野-群益出版社73元157483幸福-仓夷-" +
"东北书店40元157484入伍-慈灯-中华图书馆93元157485从风吹来的地方-仇重-中国儿童时报社40元157489搏斗-陈明章-真实书店40元157490春雷-陈瘦竹-华中图书公司117元157491地下-" +
"程造之-海燕书店97元157494东村事件-丁玲40元157497江南风景-端木蕻良-时代书局40元157500新都花絮-端木蕻良-知识出版社52元157502热情的伴侣-房慕梁-欧亚出版社40元157504山水-" +
"冯至-国民图书出版社40元157505隐刑-凫公-京津出版社48元157507离乡集-戈壁-新民印书馆46元157508黄河边上的春天-戈金-晓峰出版社69元157512我的父亲-顾一樵-新月书店40元157513" +
"海-关菁英-关东出版社51元157514烽烟万里-郭根-好华图书公司40元157516战斗中的一年-何家槐-民众书店40元157517寒夜集-何家槐-复兴书局64元157519恋��-胡寄尘-广益书局40" +
"元157523雷声-黄贤俊-新群出版社57元157529迷惘-敬乐然-益智书店40元157532火车集-老舍-上海杂志公司66元157536离婚-老舍-北京大学60元157538贫血集-老舍-文聿出版社40元157545" +
"爬山虎-李韵如-文周出版社40元157547八人集-林微音-诗领土社40元157550地雷-柳青-光华书店40元157554腐草-鲁莽-中国文化服务社40元157555论阿Q正传-路沙-草原书店44元157559春王正月" +
"-罗洪女士-良友图书印刷公司59元157560兰色的图门江-骆宾基-新丰出版公司40元157561黑丽拉-侣伦63元157563露露-马国亮-良友图书公司40元157564飞鹰旗-马子华-读书生活出版社40元157566" +
"腐蚀-茅盾-大众书店54元157567第一阶段的故事-茅盾-文光书店68元157569阿黄-薄玉珍-梅晋良-基督教联合出版社40元157570南北极-穆时英-复兴书局44元157571南北极-穆时英-自力出版社" +
"44元157574给予者-欧阳山-读书生活出版社40元157575战果-欧阳山-学艺出版社64元157576新生代-齐同-生活书店104元157578旧仇新憾-卿秉渊-国魂书店40元157579网-石木-中央书报65元" +
"157583人的希望-司马文森66元";
// for (int i = 0; i <300; i++) {
// testString += "18岁那年，有个自称算命先生看了我的手相后说，此生你将注定与男人纠缠不清。我说怎么可能，我不漂亮，也无贪欲。我不想要太多，一生只想爱一次，只要一个爱我的丈夫，然后我是他的好妻子。为他做饭、洗衣带孩子。我要和他相伴到老。 "
// +"算命先生还说我曾有快乐的童年，但这说明不了什么，未来每一天都在变，没有长久的苦难，当然也没有长久的幸福。听到这话的时候，我感觉自己从里到外开始发冷。"
// +"那么多年，我一直企图摆脱这个咒语一样的预言，却总是徒劳无功。我碰到过很多男人，不是他爱我我不爱他就是我爱他而他不爱我，还有就是我们彼此相爱却因为有缘无份而不得不分开。他们都说我是好姑娘，结果是我至今仍孑然一身。"
// +"23岁的时候，我经历了第一场爱情的失败。那是我的初恋，他叫钟建。我们分手的时候也是这样的春天。我还清晰地记得，我们坐在江边的茶园里。我们都不敢看对方的眼睛。我的眼睛四处逡巡。我看见柳树发芽了，鹅黄的叶子在阳光下快乐地疯长。河里有很多垃圾漂过，河堤上有情侣在接吻。茶叶一根根笔直地站立在水中，这是上好的绿茶。我想起刚认识钟建的那一年那个算命先生的话，我想这是不是就是一切纠缠和苦难的开始呢，我很害怕。"
// +"和钟建分手一年后，我来到了现在的这座城市。我曾在这个城市读了四年大学，我像熟悉我的家乡一样熟悉这座城市。最重要的是我最好的朋友邓澜在这座城市。我做了电台DJ，一档深夜音乐节目。从此，我用声音和文字与世界交流。 "
// +"我居无定所，像无根的池萍一样在这个城市的四处飘荡。一年内我搬了五次家。从这个城市的南边搬到北边，再从北边搬到西边然后东边。我恨极了这种漂泊流浪没有尽头没有希望的日子。我每天晚上十点半出门上班，十二点下班。我像幽灵一样穿越这个城市的夜晚。我化很精致的妆，穿很漂亮的衣服。像人们清晨出门那样。"
// +"有时候我会去酒吧坐一坐，更多的时候我下班就回家上网。我买了一台二手联想电脑，很破却已经足够我夜深人静的时候上线游荡。我每天准时凌晨一点上网，然后在各个BBS之间游荡，写写看看，停停走走。我很少仔细看贴子，走马观花逛完一圈的时候天就亮。"
// +"我在节目里侃侃而谈，实际上我勤于思考却拙于表达，我总是不知道该用怎样的词语才能恰当地表达出自己的起初想法。我在网上认识人不多，其中有一个叫野鬼。他说他是孤魂野鬼，只在夜晚出没。碰到他的时候我叫幽冥。他说女孩子不应该取我这们的名字，我笑就，因为我也只在夜晚活动。我们从不问对方是干什么的，我只是滔滔不绝地对他诉说，说我的生活，说我喜欢自己自己的声音在这个城市的夜里四处散布，说我陷在绝望的爱情里找不到出路，" +
// "还说我希望有一座房子，面朝大海，春暖花开。他总是安静地听我说话，无论我怎么思维混乱、言辞颠倒他也从不怀疑我是否在撒谎。我喜欢相互信任，即使是在网上。我叫他野鬼，可他从不叫我幽冥，他叫我丫头，我们的称呼常常会打动我的心，但那只限于夜晚。白天我是一个坚硬冷漠的人，我甚至从不在白天上网。那个叫野鬼的人从不问我为什么，只是对我说，我不该是一个缺少阳光的女子，我令他心疼。"
// +"无论我对野鬼说过 只作为一个符号存储在我的电脑里。关掉电脑以后，他就像空气一样立刻从我的视野和脑海里消失，甚至于一场小小的病毒也会让他从此不再出现。放映＜花样年华＞后，我曾经对他说他是我的“树洞”，他沉默数秒后表示反对。他说“树洞”是没有感情和生命的，而他有。 "
// +"上大学的时候老师告诉我们所谓悲剧就是人类自己将美好的东西撕碎给人类看。我一直记得我句话，我想努力制造一个喜剧，却不小心把这个喜剧撕碎了，成了悲剧。 "
// +"邓澜说我把自己的生活搞得乱七八糟，该有个人来照顾我，还说如果我再不嫁就没人要了，那口气和我爸妈一样。我说好啊，那你给我介绍个好人吧，好要有跔的胸怀愿意收留我。其实，那时候我也就26岁，比起30岁的现在来说还算得上是花样年华。 "
// +"第一次见到江凯文是在培根路的1812酒吧，我和邓澜一进门就看见坐在吧台的江凯文，他一个人在喝闷酒。邓澜为我们作了介绍，虽是第一次见面，其实我们都早已在对方心里盘踞。有很多次，邓澜对我欲言又止。 "
// +"邓澜欲言又止的是江凯文是个离异的男人，有一个小孩，和她妈妈在一起。邓澜觉得这对我来说有些不公。我不在乎这些。我们相爱了。 "
// +"第一次感到和一个人心有灵犀的默契是这样幸福。我想，我会一辈子爱他，我不要再让忧郁溢满他的眼神。我也相信他爱我一如我爱他。然后，我开始小心翼翼地经营这份爱情。他不喜欢我做电台的工作，我听他的话换了一份朝九晚五的工作。每天做好晚饭等他回家。我戒了网，彻底忘记那个叫野鬼的人。我希望我的爱可以抚平他心里的伤口。"
// +"一切原本都是好好的。如果我不说结婚的话，可能一切都不会发生。和江凯文相恋一年的时候，我想结婚了。我并不是想要一个所谓老婆的名分，我从来都觉得婚姻束缚不了两个不再相爱了的人，没了爱，婚姻又要来干什么。我只是想为他生个孩子，给他一个完整的家。 "
// +"我说出结婚的想法以后，江凯文就消失了。我去他上班的地方找他，他避而不见。我给他找电话，我说我错了，我不要你娶我，我只要我们在一起。他在电话里沉默不语。我想不明白凯文为什么这样惧怕婚姻。我每天神思恍惚，晚上回家总是胡思乱想，我迅速地憔悴下去。"
// +"我到1812去喝酒，这是我和凯文第一次见面的地方。誓言还在耳边，一切却已经改变。我喝了很多酒。我看见有一个头盖骨在酒柜里，好像曾经被摔碎过，胶布像绷带一样缠满了整个头颅。我叫来服务生，我想知道为什么他们为什么会放一个头骨在这里，我还想知道这个头骨生前是男是女，他（她）是否也曾有过悲伤的爱情。服务生说这是老板从华西医院拿来的头骨，生前是一个非常漂亮的女孩，只在这个世上呆了20年。万圣节的时候，客人玩得太疯，" +
// "摔到地上碎了，所以用胶布粘起来。我说她一定很疼了，你们把她放在这里，她会嫌吵的。服务生说，也许她就喜欢这种生活呢，夜夜笙歌多好啊。我说你们怎么可以这样啊，我拉住服务生一定要他说这个薄的女孩生前有没有过刻骨铭心的爱，我一杯接一杯地喝酒。这时，邓澜和凯文一起出现在我的面前。"
// +"凯文冲过来抱住我，不停地说对不起对不起，他温热的泪滴在我的脸上和我的泪混在一起，我又感到了他的温度，这让我温暖。我哭着说我不能没有他。我可以不要婚姻，不要名分，什么都不要，只要他别离开我。他终于说出他的苦衷。他以前在部队的时候曾摔断过颈椎，虽然现在好了，但是随时有可能得发导致瘫痪，他不要我为了他受苦。我说生生死死我都要和他在一起，无论贫穷，疾病。除非他不再爱我了。他说傻丫头，我怎么可能不爱你呢，没有你我活着还有什么意思。 "
// +"失而复得的爱情让我觉得多年的坎坷其实算不了什么，幸福一定会属于我，只要我不放弃。凯文对我很好，他似乎也对这份有过波折的爱倍加珍惜。我以为日子可以就这样一直过下去，结婚对我来说已经不重要，重要的是我和凯文在一起。而且，我们彼此相爱。 "
// +"不知道是不是老天故意和我开玩笑。一个月后，凯文又消失了。我满世界找他，疯了一样。我相信他一定有什么苦衷，不然他决不会突然失踪。我求邓澜帮我找到他。我蜷缩在家里，不吃不喝等他的电话。很久以后，在我快要死去的时候，凯文从西藏打回电话说他不能给我一个家，他很穷，没有自己的房子他不会娶我。 "
// +"我立刻倾尽所有买了一套房子。我说我们有自己的房子了，你快回来啊。他回来了，却不愿意再回我身边。他瘦了很多，我相信这些日子里他也常常思念我，不然不会这么消瘦。我忽然发现我根本不懂凯文，在一起一年，一直以为我们了解对方就像了解自己一样。一直相信有了爱其他一切都不重要了。而此刻，我才发现我完全不知道凯文在想什么，他要的又是什么。我感到悲哀。"
// +"我每天幽灵一样游荡在这个城市的大街小巷，我想我该忘记这个男人，这个多变的男人。我走在路上的时候就像梦游一样，好几次善战被车撞到。有好几次，我恍惚看见凯文在跟踪我，我想一定是我看花眼了。 "
// +"同事结婚，赶去祝福。坐在角落里翻看他们的婚纱照，心里悲凉无比。有个客人走过来对我说，“咦，怎么凯文不上来啊？我看他在楼下已经站了半个小时了，很焦躁的样子。我还以为他在等你呢。”我个人并不知道我和凯文之间后来发生的那些事。我站起来就往楼下冲，只看到楼下一地的烟蒂。我因此确信凯文依然是爱我的，只要他爱我无论发生过什么我都会原谅他。"
// +"关于这段故事，我已经不想再叙述。凯文最终没有成我相位终身的爱人。他曾经是爱我的，这毋庸置疑。他第二次离开我的原因是他牛顿 他的初恋情人。她一直是他心里的痛，暗恋多年却不敢表达。后来女孩出国，他也结婚生子。现在女孩回来了，三十多岁的女人风采依然，而且一直单身。凯文自从在街上看到她的第一眼就认定她才是他生命里的天使，而此刻的他又是自由身，他相信这是上天安排的缘分，于是，他离开我，开始疯狂地追求她。这是他在一次醉酒后告诉邓澜的。" +
// "他还说我是一个好女孩，他不能欺骗我。看见我一天天憔悴下去，他也很心疼，他怕我想不开所以才跟踪我。听到这番话的时候，我觉得自己真是滑稽。居然为了这么一个男人如此消瘦。他以为没了他，我会自杀，我不会这么蠢，为了一个不爱自己的男人而折磨自己。早知道他离开我的原因，我甚至不会有一丝一毫的难过，如果伤心，也是为自己的有眼而伤心。"
// +"结局是，我又回到电台。而凯文依然没有圆他那个青春年少的梦，他曾回来求我说他发现他爱的还是我，没有我他将无法生活。我哑然失笑。我说这也是我曾经对你说过的话，不过，这是我说过的最愚蠢的话。我早已不爱你了，而我也做不了你的天使。这世界谁没谁，生活都会照样继续。没什么大不了的。 "
// +"后来，邓澜对我讲述了凯文的第一次婚姻。这些往事，凯文从没对我说过，我也从不。凯文以前在部队，出身贫寒，最大的梦想就是出人头地。而无论他怎么努力钻营，机会也一直没有垂青于他。为了改变命运，他娶了并不喜欢的团长的女儿。这次婚姻并没有带给他转机，骄横的爱人终于激怒了他。于是，他离婚了。他似乎不再追逐名利，只想找一个相爱的人好好生活。如果不钻营投机，他会是一个相当优秀的人，聪明而体贴。邓澜以为他已经醒悟了，所以才力撮我们。" +
// "她说她对不起我，不该让我们相识。我笑笑，说一切都过去了。何况，这怨不得谁，是老天早就注定的。18岁的时候就注定了的。"
// +"选择爱就是选择劫难。 "
// +"我换了城市。继续做DJ的工作。 "
// +"有听众曾说，我的声音透着绝望，那透明清凉的绝望。 "
// +"朋友说我越来越不正常。我说是，一个迷恋夜晚的女子怎么可能正常。 "
// +"有人在背后开始对我指指点点，说一个30岁的女人还不结婚一定是有问题。 "
// +"我不为所动。 但是我知道，总有一天，我会老去，且没有人会再听我说话。";
// }
System.out.println("Length = " + testString.length());
IKSegmentation ikSeg = new IKSegmentation(new StringReader(testString) , false);
try {
Thread.sleep(5000);
} catch (InterruptedException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
long begin = System.currentTimeMillis();
try {
// Lexeme l = null;
// while( (l = ikSeg.next()) != null){
// System.out.println(l);
// }
while( ikSeg.next()!= null);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
long end = System.currentTimeMillis();
System.out.println("耗时 : " + (end - begin) + "ms");
System.out.println("***************");
}
public void testQueryParser(){
Query query = null;
try {
// String[] fields = new String[]{"f1" , "f3" , "f5"};
// query = IKQueryParser.parseMultiField(fields, "title:评测");
query = IKQueryParser.parse("F", "多少倍");
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
System.out.println(query);
}
}